Language models are widely deployed to provide automatic text completion services in user products. However, recent research has revealed that language models (especially large ones) bear considerable risk of memorizing private training data, which is then vulnerable to leakage and extraction by adversaries. In this study, we test the efficacy of a range of privacy-preserving techniques to mitigate unintended memorization of sensitive user text, while varying other factors such as model size and adversarial conditions. We test both "heuristic" mitigations (those without formal privacy guarantees) and Differentially Private training, which provides provable levels of privacy at the cost of some model performance. Our experiments show that (with the exception of L2 regularization), heuristic mitigations are largely ineffective in preventing memorization in our test suite, possibly because they make too strong of assumptions about the characteristics that define "sensitive" or "private" text. In contrast, Differential Privacy reliably prevents memorization in our experiments, despite its computational and model-performance costs.
translated by 谷歌翻译
随着大型预训练的语言模型（例如GPT-2和BERT）的广泛可用性，最近的趋势是微调一个预训练的模型，以在下游任务上实现最新的性能。一个自然的示例是“智能回复”应用程序，其中调整了预训练的模型以为给定的查询消息提供建议的答复。由于这些模型通常是使用敏感数据（例如电子邮件或聊天成绩单）调整的，因此了解和减轻模型泄漏其调整数据的风险很重要。我们研究了典型的智能回复管道中的潜在信息泄漏漏洞，并引入了一种新型的主动提取攻击，该攻击利用包含敏感数据的文本中的规范模式。我们通过实验表明，对手可以提取培训数据中存在的敏感用户信息。我们探讨了潜在的缓解策略，并从经验上证明了差异隐私如何成为这种模式提取攻击的有效防御机制。
translated by 谷歌翻译
大型预审慎的模型可以私下微调以实现非私有模型的性能。这些结果中的一个共同主题是令人惊讶的观察结果，即高维模型可以实现有利的隐私性权衡。这似乎与差异私有凸学习的模型尺寸依赖性相矛盾，并提出了以下研究问题：差异私人学习的性能何时不会随着模型大小的增加而降低？我们确定投影到子空间上的梯度的幅度是决定性能的关键因素。为了确切地为私人凸学习的特征，我们引入了一个条件，即我们将限制Lipschitz的连续性限制并得出了在其他条件下与维度无关的过多经验和人口风险的界限。我们从经验上表明，在大型语言模型的私人微调中，在本地最佳距离附近评估的梯度主要由一些主要组件控制。这种行为类似于我们在凸面设置中获得尺寸独立界限的条件。我们的理论和经验结果共同为大规模私人微调成功提供了可能的解释。
translated by 谷歌翻译
最近的工作证明了从生成语言模型中成功提取培训数据。但是，在文本分类模型中，这种提取是否可行，因为培训目标是预测类标签而不是下一字预测。这提出了一个有趣的挑战，并提出了关于文本分类设置中培训数据隐私的重要问题。因此，我们通过研究与学习任务无关的培训数据的意外记忆的问题来研究文本分类域中的潜在隐私泄漏。我们提出了一种算法，通过利用模型提供的类标签的可能性来提取部分文本的缺失令牌。我们通过将金丝雀插入训练集并试图在训练后提取令牌来测试算法的有效性。在我们的实验中，我们证明了在一定程度上可以成功提取。这也可以用作审计策略，以评估未经同意的任何未经授权使用个人数据的使用。
translated by 谷歌翻译
我们为大规模训练的大规模训练语言模型提供了更简单，更稀疏，更快的算法，这些算法在许多标准的NLP任务上实现了最新的隐私与实用性权衡。我们为此问题提出了一个元框架，这是受高度参数效率方法进行微调成功的启发。我们的实验表明，这些方法的差异化适应能力在三个重要方面优于以前的私人算法：实用程序，隐私以及私人培训的计算和记忆成本。在许多经常研究的数据集中，私人模型的实用性接近了非私人模型的方法。例如，在MNLI数据集上，我们使用Roberta-large的准确度为87.8 \％$，使用Roberta-Base $ 83.5 \％$，其隐私预算为$ \ Epsilon = 6.7 $。相比之下，缺乏隐私限制，罗伯塔·莱格（Roberta-Large）的准确度为$ 90.2 \％$。我们的发现对于自然语言生成任务类似。与DART，GPT-2-SMALL，GPT-2中，GPT-2-MEDIUM，GPT-2-LARGE和GPT-2-XL的私人微调达到38.5、42.0、43.1和43.8（$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 43.8） epsilon = 6.8，\ delta = $ 1E-5），而非私人基线为$ 48.1 $。我们所有的实验都表明，较大的模型更适合私人微调：虽然众所周知，它们旨在非优先实现卓越的准确性，但我们发现当引入隐私时，它们也更好地保持其准确性。
translated by 谷歌翻译
With the growing global deployment of carbon capture and sequestration technology to combat climate change, monitoring and detection of potential CO2 leakage through existing or storage induced faults are critical to the safe and long-term viability of the technology. Recent work on time-lapse seismic monitoring of CO2 storage has shown promising results in its ability to monitor the growth of the CO2 plume from surface recorded seismic data. However, due to the low sensitivity of seismic imaging to CO2 concentration, additional developments are required to efficiently interpret the seismic images for leakage. In this work, we introduce a binary classification of time-lapse seismic images to delineate CO2 plumes (leakage) using state-of-the-art deep learning models. Additionally, we localize the leakage region of CO2 plumes by leveraging Class Activation Mapping methods.
translated by 谷歌翻译
文本分割旨在将文本分为连续的语义连贯段，而段标签则与每个段的生成标签有关。过去的工作表明，在解决文档和对话的分段和标签方面取得了成功。通过特定于任务的管道，受监督和无监督的学习目标的结合，这是可能的。在这项工作中，我们提出了一个单一的编码器神经网络，该网络可以处理长文档和对话，同时仅使用标准监督进行细分和细分标记。我们成功地展示了将组合任务作为纯生成任务解决的方法，我们称之为结构化摘要。我们将相同的技术应用于文档和对话数据，并在高资产设置和低资源设置下显示了各个数据集的最新技术性能。我们的结果确定了一个有力的案例，可以考虑整体文本细分和细分标签，并朝着不依赖域专业知识或特定于任务的组件的通用技术迈进。
translated by 谷歌翻译
目的：用脑电图（脑电图）测量的稳态视觉诱发电势（SSVEP），在脑部计算机界面（BCI）拼写中产生不错的信息传输速率（ITR）。但是，文献中当前高性能的SSVEP BCI拼写器需要针对每个新用户进行系统适应的最初冗长而累人的用户特定培训，包括使用脑电图实验，算法培训和校准的数据收集（所有这些都是在实际使用之前系统）。这阻碍了BCI的广泛使用。为了确保实用性，我们提出了一种基于深神经网络（DNN）合奏的高度新颖的目标识别方法，该方法不需要任何特定于用户的培训。方法：我们从先前进行的脑电图实验的参与者中利用已经存在的文献数据集来训练全球目标标识符DNN，然后对每个参与者进行微调。我们将这种微调DNN的合奏转移到新的用户实例中，根据参与者与新用户的统计相似性确定k最具代表性的DNN，并通过集合预测的加权组合来预测目标角色。结果：在两个大规模基准和β数据集上，我们的方法可实现令人印象深刻的155.51位/分钟和114.64位/分钟ITR。代码可用于可重复性：https：//github.com/osmanberke/ensemble-fnns结论：拟议的方法在[0.2-1.0]中的所有刺激持续时间上的所有最新替代方案都显着优于[0.2-1.0]秒。两个数据集。意义：我们的合奏-DNN方法有可能在日常生活中促进BCI拼写者的实际广泛部署，因为我们提供了最高的性能，同时无需任何特定于用户的培训即可立即使用。
translated by 谷歌翻译
最近，神经网络发生了重大发展。因此，神经网络经常在物理文献中使用。这项工作估计了使用神经网络从介子和巴里昂群众产生的异国情调的哈德子的质量。随后，使用最近提出的人工数据增强技术增加了数据数量。我们已经观察到，使用增强数据，神经网络的预测能力提高了。这项研究表明，数据增强技术在改善神经网络预测中起着至关重要的作用。此外，神经网络可以对异国情调的哈德子做出合理的预测，双重迷人和双重底层的重子。结果也与高斯过程和组成夸克模型相媲美。
translated by 谷歌翻译
过场动物是许多视频游戏不可或缺的一部分，但是它们的创作既昂贵又耗时，并且需要许多游戏开发人员缺乏的技能。尽管AI已被利用为半自动过场动画的生产，但结果通常缺乏专业人类董事特征的样式的内部一致性和统一性。我们用Cine-AI克服了这一缺点，Cine-AI是一种开源程序性摄影工具集，能够以杰出的人类导演的风格生成游戏中过场动画。 Cine-AI在流行的游戏引擎团结中实现，具有新颖的时间轴和情节板界面，用于设计时间操纵，并结合运行时摄影自动化。通过两项使用定量和定性措施的用户研究，我们证明了Cine-AI产生过过过场动物，这些过场动物与目标主管正确关联，同时提供高于平均水平的可用性。我们的导演模仿数据集可公开使用，可以由用户和电影爱好者扩展。
translated by 谷歌翻译